Ông sinh tại Tinh Đẩu, Tương Đàm, tỉnh Hồ Nam. Tên của ông là do các thầy dạy vẽ đặt cho ông bởi ông sinh ra ở núi Bạch Thạch.Ông xuất thân trong một gia đình thuần nông nghèo khó và ông bị đau ốm liên miên lúc thơ ấu. Năm 9 tuổi, ông đến trường của ông ngoại ông dạy để học chữ nhưng sau đó 1 năm ông đã phải nghỉ vì nhà quá nghèo. Ở nhà, ông làm ruộng, chăn trâu, cắt cỏ và tự học chữ, học vẽ lúc rảnh rỗi rất miệt mài. 12 tuổi, ông đi làm thợ mộc để kiếm sống. Những nét vẽ trên gỗ của ông được chạm khắc rất tinh vi và sáng tạo nên chẳng mấy chốc đã nổi tiếng khắp vùng. Năm 27 tuổi, tên tuổi ông đã có tiếng tăm trong giới nghệ thuật và ông đã được suy tôn là bậc thầy về hội họa.Đến năm 40 tuổi, ông đi tham quan nhiều thắng cảnh ở khắp Trung Quốc. Sau năm 1917, ông định cư tại Bắc Kinh và trong những năm tháng cuối đời, ông tiếp tục những "sáng tạo cuối đời." (衰年變法, suy niên biến pháp). Ông mất năm 1957 tại Bắc Kinh, hưởng thọ 94 tuổi.